Sau khi bắt đầu nổi danh, một sự cố trong âm nhạc đã khiến nhiều fan quay lưng lại với cô. Cuối năm 2004, Ashlee được mời tham gia chương trình Saturday Night Live. Tuy nhiên, vì sức khoẻ, Ashlee đã không thể hát live như dự tính và đã phải hát nhép theo một đĩa nhạc. Khi bắt đầu biểu diễn, đĩa nhạc bài Pieces of me bị lỗi và Ashlee đã không thể tiếp tục. Tuy nhiên, sau sự cố này năm 2005, Ashlee vẫn quyết định tham gia lại chương trình và tìm được cảm hứng để viết nên 2 ca khúc: Catch me, When I Fall và Beautiful Broken.

Năm 2005 là năm nhiều tin đồn đến với Ashlee nhất. Khi cho ra đời ca khúc đầu tiên trong Vol 2, Boyfriend, Ashlee bị đồn là cướp bạn trai Wilmer Valderrama của Lindsay Lohan. Ca khúc này chính là lời đáp lại của Ashlee đối với lời buộc tội của Lohan rằng "I Don't steal your boyfriend" - "Tôi không cướp bạn trai của cô".

Tháng 10/2005, ngay sau khi tung ra album I Am Me, Ashlee lại phải đối mặt với báo giới khi cuốn băng ghi hình cô đang say rượu và có hành vi thô lỗ với nhân viên quán ăn McDonald ở Toronto (Canada)Ashlee Simpson, nhã nhặn sau những tai tiếng Lưu trữ 2015-10-03 tại Wayback Machine. Ashlee nói rằng đó là do nhân viên ở đó đã có lời nói xúc phạm đến cô và khiến cô tức giận.

Tiếp đến năm 2006, Ashlee phải chịu búa rìu của tạp chí Marie Claire về việc cô đi sửa mũiAshlee Simpson sửa mũi[liên kết hỏng]. Họ buộc tội Ashlee đã phát ngôn bịa đặt và giả tạo về việc cô nàng hoàn toàn chấp nhận những thiếu sót trên cơ thể mình bởi trước đó cô đã trả lời phỏng vấn Marie Claire về vẻ đẹp tự nhiên. Ashlee cho rằng việc sửa mũi làm cô cảm thấy tự tin hơn.

Ashlee cũng từng bị dư luận nghi ngờ đã từng đụng dao kéo ở ngực nhưng cô khẳng định mình không có ý định bơm ngực dù so với cô chị, bộ ngực của cô chẳng thấm vào đâu. Ashlee lên tiếng rằng "Tôi yêu bộ ngực của mình, nó thật hoàn hảo. Chị Jessica được trời phú cho vòng một lớn hơn tôi nhiều. Đàn ông khoái cái đó và thường xuyên dán mắt vào nó, nhưng thật phiền phức khi phải đeo tận hai cái rổ bóng trên ngực"

Năm 2006, Nick Carter tuyên bố mình đã từng có những thời khắc "vui vẻ" với Ashlee Simpson chỉ vì muốn trả đũa cô nàng Paris Hilton. Nhưng ngay lập tức Ashlee đã trả lời với báo giới rằng điều mà anh ta nói là nhảm nhí và cô đã "gần như chết ngất vì cười" khi nghe thấy điều đóAshlee Simpson 'bật lại' Nick Carter[liên kết hỏng]